Walaupun sering difikirkan sebagai tempat perlindungan yang tenteram untuk mereka yang ingin melepaskan diri daripada tekanan kehidupan sehari-hari, taman-taman Jepun direka bentuk untuk pelbagai tujuan. Sesetengah taman menggalakkan tafakur, tetapi ia juga bertujuan untuk rekreasi dan untuk mempamerkan spesimen-spesimen tumbuhan yang jarang ditemukan serta batu-batu yang luar biasa.

Kaiyu-shiki atau Taman Berjalan-jalan memerlukan pemerhati merentasi taman supaya dapat menghargai taman itu dengan sepenuhnya. Satu jalan yang dirancang terlebih dahulu membawa pemerhati ke setiap kawasan yang unik di dalam taman Jepun. Permukaan yang tidak rata ditempatkan di ruangan-ruangan yang tertentu untuk menggalakkan para pengunjung supaya melihat ke bawah. Apabila pemerhati melihat ke atas, mereka akan melihat suatu hiasan tertarik mata yang niatnya adalah untuk menyedarkan dan untuk menyegarkan jiwa pemerhati. Jenis reka bentuk ini dikenali sebagai prinsip "sembunyikan dan dedahkan" landskap Jepun.

Batu digunakan untuk membina lorong, jambatan dan laluan pejalan kaki taman. Ia juga digunakan mewakili gunung apabila gunung yang sebenar tidak ada atau tidak dapat dilihat. Bilangan batu yang diletak biasanya ganjil dan kebanyakan kumpulan batu itu membayangkan bentuk tiga segi, iaitu bentuk gunung yang paling biasa di China.

Sumber air di dalam taman Jepun harus merupakan sebahagian persekitaran semula jadi and oleh itu, air pancut tidak akan dilihat di dalam taman tradisional. Anak sungai buatan dibina dengan lengkungan dan bentuk yang tidak sekata untuk mencipta wajah yang tenang dan sejadi. Lantera seringnya diletakkan pada sebelah badan air (baik kolam atau anak sungai) di dalam taman. Di sesetengah taman, terdapat kolam atau sungai yang kering. Kolam atau sungai yang kering mempunyai kesan yang lebih kurang sama dengan kolam atau sungai yang mempunyai air.

Tumbuhan hijau merupakan satu lagi unsur taman Jepun. Tradisi Jepun lebih suka warna hijau yang lembut, tetapi pokok berbunga dan pokok renek juga digunakan. Banyak tumbuhan di dalam taman Jepun tiruan di Barat merupakan tumbuhan asli Jepun, walaupun sesetengah kompromi harus dibuat atas alasan iklim yang berbeza. Sesetengah tumbuhan seperti sugar maple dan firebush memberikan berbagai-bagai warna musim kepada taman.